本週要做的事
| 順序 | 內容 | 預估時間 |
|---|---|---|
| 1 | Ch.1 從規則法到會學的方法(課程定位) | 10 min |
| 2 | Ch.2 研究 vs 功能實作(研究生最該分清的事) | 15 min |
| 3 | Ch.3 評估指標完整講解(Accuracy / F1 / Confusion Matrix / Latency) | 25 min |
| 4 | Ch.4 資料集與前處理(Colab) | 20 min |
| 5 | Ch.5 路線 B:HoG + SVM(訓練 + Android Chaquopy 部署) | 30 min |
| 6 | Ch.6 路線 C:Tiny CNN(訓練 + Colab Local Runtime 部署) | 30 min |
| 7 | Ch.7 路線 D:MobileNetV2 Transfer Learning | 30 min |
| 8 | Ch.8 兩種部署平台對比與工程意義 | 15 min |
| 9 | Ch.9 三方法 × 傳統 CV 系統實測對比(研究級) | 10 min |
| 10 | Ch.10 作業 + 常見錯誤排除 | 15 min |
教材檔案
-
📂 MLDL_RPS.pptx (原始檔)
核心投影片
93 張,10 章節。※ PPT 待轉 PDF 後可線上檢視 -
📖 MLDL_RPS_講義.pdf
講義 PDF
28 頁配套講義,文字版重點 highlight。 - 共用 notebooks (
shared/notebooks/):猜拳辨識(ML&DL訓練模型).ipynb— 主要參考猜拳辨識(基礎CNN訓練).ipynb猜拳辨識(三類_rps_修正版).ipynb手勢辨識_MobileNetV2_RGB強化版.ipynb
- 共用模型 (
shared/assets/models/):hog_svm_rps.pkl— HoG+SVM 預訓練rps.tflite— Tiny CNNrps_mobilenetv2.tflite— MobileNetV2
本週三條路
路線 B|傳統 ML
- HoG + SVM
- 手工特徵 + 學習式決策邊界
- 部署:Android Chaquopy
- 正確率預期 80-90%
- 模型很小 (~50 KB)
路線 C|深度學習
- Tiny CNN 自訓
- 特徵與決策邊界都由資料學
- 部署:Colab Local Runtime + Webcam
- 正確率 85-92%
- 模型約 8 MB
路線 D|遷移學習
- MobileNetV2 Transfer Learning
- 用大資料集預訓練特徵 + RPS 微調
- 部署:同上
- 正確率 92-97%
- 模型 8.9 MB
研究 vs 功能實作(研究生最該分清的事)
本週是整門課第一次正式把「研究方法論」滲透進教學。從 W10 起,每週都會要求學生:
- 至少報告一個評估指標(不只 accuracy)
- 至少對比一個 baseline(本週 baseline = W9 規則法)
- 含 Confusion Matrix
| 功能實作 | 研究級報告 | |
|---|---|---|
| 目標 | 跑得起來 | 跟世界對話 |
| 正確率 | 「我看起來還行」 | 定量 + Confusion Matrix + 失敗分析 |
| 實驗 | 跑一次就交 | 多 seed + 區間估計 |
| 對比 | 無 | 跟 baseline / SOTA 比 |
| 輸出 | 能跑的 APK | 能投 paper 的報告 |
兩種部署平台(工程取捨)
本週的工程小發現:不是所有 ML/DL 模型都能直接放上 Chaquopy。
路線 B 部署:Android Chaquopy ✓
- sklearn 有 cp310 wheel,可直接裝
build.gradle加install "scikit-learn==1.4.0"- 用
joblib.load載入 .pkl - 真實 on-device 推論
路線 C/D 部署:Colab Local Runtime
- tflite-runtime 沒 cp310 wheel → Chaquopy 路線斷
- 改走 Colab Local Runtime + 本地 webcam
- W2 已建好的環境直接用
- 缺點:不是真嵌入式部署 (W11 走 Java TFLite 補回來)
學生看到這個取捨後,能理解「選工具不是看最潮,是看真的能跑」。
W10 作業
分兩部分:Colab 訓練 + Android 部署 + 研究級報告。詳見作業頁。
- 路線 B HoG+SVM 在 Android 跑通
- 路線 C/D 在 Colab Local Runtime 跑通
- 產出 Confusion Matrix 與 baseline 對比表
- 30 秒測試影片 + 簡易報告
學生檢核表
- 我理解 HoG + SVM 跟 W9 凸缺陷法的差別
- 我會用 Colab 訓練 Tiny CNN + 存 .tflite
- 我會用 Transfer Learning 微調 MobileNetV2
- 我能在 Android 上跑 HoG+SVM 模型
- 我能畫出 Confusion Matrix 並解讀
- 我能跟 W9 規則法做正確率對比
下週預告 (W11)
從 ML/DL 進到 SOTA 物件偵測 + 多目標追蹤:
- RCNN → YOLO 演進
- YOLOv5 自訓 + Java TFLite API 部署(真嵌入式!)
- ByteTrack 多目標追蹤
- Action Recognition